|
1.
基于Dropout的改进卷积神经网络模型平均方法
程俊华, 曾国辉, 鲁敦科, 黄勃
计算机应用
2019, 39 (6):
1601-1606.
DOI: 10.11772/j.issn.1001-9081.2018122501
针对深度卷积神经网络(CNN)中的过拟合问题,提出一种基于Dropout改进CNN的模型预测平均方法。首先,训练阶段在池化层引入Dropout,使得池化层单元值具有稀疏性;然后,在测试阶段将训练时池化层Dropout选择单元值的概率与池化区域各单元值所占概率相乘作为双重概率;最后,将提出的双重概率加权的模型平均方法应用于测试阶段,使得训练阶段池化层Dropout的稀疏效果能够更好地反映到测试阶段池化层上,从而使测试错误率达到与训练的较低错误率相近的结果。在给定大小的网络中所提方法在MNIST和CIFAR-10数据集上的测试错误率分别为0.31%和11.23%。实验结果表明:仅考虑池化层对结果的影响,所提方法与Prob.weighted pooling和Stochastic Pooling方法相比具有更低的错误率,表明池化层Dropout使得模型更具泛化性,并且池化单元值对于模型泛化具有一定帮助,能够更有效避免过拟合。
参考文献 |
相关文章 |
多维度评价
|
|